Current Result Document :
| 한글제목(Korean Title) |
Pre-trained Continuous Prompts 에 기반한 한국어 자연언어처리 |
| 영문제목(English Title) |
Pre-trained Continuous Prompts for Natural Language Processing of Korean |
| 저자(Author) |
이정
박은환
나승훈
Joung Lee
Eunhwan Park
Seung-Hoon Na
|
| 원문수록처(Citation) |
VOL 49 NO. 01 PP. 1840 ~ 1842 (2022. 06) |
한글내용
(Korean Abstract) |
GTP-3, BART, BERT 등과 같은 대규모 사전 학습된 언어 모델을 활용하기 위해 일반적으로 Fine-tuning을 수행하나 이는 언어모델의 기존 매개변수를 저장하여 메모리부담과 더불어 방대한 GPU자원을 요구하는 단점을 보인다. 따라서 언어모델의 크기가 점점 증대되는 추세에 맞추어 효율적이고 경량화된 모델 활용 방법이 주목받고 있으며 본 연구에서는 한국어 자연 언어 처리 태스크를 위하여 가상토큰인 Prefix를 추가하여 Pre-trained Prefix Prompting모델을 구축하고 한국어 자연 언어 처리 태스크에 활용하는 방안을 제시한다. |
영문내용
(English Abstract) |
|
| 키워드(Keyword) |
|
| 파일첨부 |
PDF 다운로드
|
